JSAI2026 大規模言語モデルを用いた離散最適化問題の自動定式化のためのプロンプト自動設計
テーマ
配置、割り当てなどの問題
手作業のプロンプト調整に依存せず、データに基づいてプロンプトを自動改善する
背景課題
最適化問題の定式化には専門知識が必要
単純な要件であれば自然言語からの定式化は可能になりつつあるが...
プロンプト設計が属人的になりやすい
提案手法
大量に作って、最もいいやつを選んでくれるエンジン
評価指標を定義
0.1 * exec + 0.15 * key coverrage + 0.75 * avg value
この重みづけにより段階づけて改善可能である
評価指標
生成コードが実行可能か
カリキュラムラーニング的な発想
正解に含まれる重要な変数をカバーしているか
最終的な目的値・出力値が正解に近いか
実験
自然言語の問題記述と正解モデルを含むベンチマークを利用
ベースプロンプトのみの場合と、DSPyで学習した場合を比較
結果
DSPyによる学習で、生成コードの正確性が大きく向上
学習データを増やすと
過学習だけではない改善が確認
より多様な問題タイプに対応できた